词语|更多_Electra:判别还是生成，这是一个选择

篇首语：本文由编程笔记#小编为大家整理，主要介绍了Electra: 判别还是生成，这是一个选择相关的知识，希望对你有一定的参考价值。

最近要开始使用Transformer去做一些事情了&＃xff0c;特地把与此相关的知识点记录下来&＃xff0c;构建相关的、完整的知识结构体系。

以下是要写的文章&＃xff0c;文章大部分都发布在公众号【雨石记】上&＃xff0c;欢迎关注公众号获取最新文章。

• Transformer:Attention集大成者
• GPT-1 & 2: 预训练&＃43;微调带来的奇迹
• Bert: 双向预训练&＃43;微调
• Bert与模型压缩
  
  • Bert与模型蒸馏&＃xff1a;PKD和DistillBert
  • ALBert: 轻量级Bert
  • TinyBert: 模型蒸馏的全方位应用
  • MobileBert: Pixel4上只需40ms
  • 更多待续
• Transformer &＃43; AutoML: 进化的Transformer
• Bert变种
  
  • Roberta: Bert调优
  • Electra: 判别还是生成&＃xff0c;这是一个选择
  • Bart: Seq2Seq预训练模型
  • Transformer优化之自适应宽度注意力
  • Transformer优化之稀疏注意力
  • Reformer: 局部敏感哈希和可逆残差带来的高效
  • Longformer: 局部attentoin和全局attention的混搭
    -Linformer: 线性复杂度的Attention
  • XLM: 跨语言的Bert
  • T5 (待续)
  • 更多待续
• GPT-3
• 更多待续

对于Bert的改进&＃xff0c;大家可能注意到我的句式都是Bert很好很强大&＃xff0c;但是……&＃xff0c;今天这篇也不例外&＃xff0c;只是改进的方向有点出乎我的意料。

Bert很好很强大&＃xff0c;但是它的训练太低效&＃xff0c;为什么呢&＃xff1f;我们来回顾一下&＃xff0c;在训练Bert的时候&＃xff0c;在输入上&＃xff0c;把15%的词语给替换成Mask&＃xff0c;然后这其中有80%是Mask&＃xff0c;有10%是替换成其他词语&＃xff0c;最后剩下10%保持原来的词语。

可以看到&＃xff0c;Bert的训练中&＃xff0c;每次相当于只有15%的输入上是会有loss的&＃xff0c;而其他位置是没有的&＃xff0c;这就导致了每一步的训练并没有被完全利用上&＃xff0c;导致了训练速度慢。

于是&＃xff0c;就有了Electra&＃xff0c;Electra是Efficiently Learning an Encoder that Classifies Token Replacement Accurately的缩写。从名字中可以看出&＃xff0c;相对于Bert的去预测Mask的正确值&＃xff0c;Electra则是去预测Token是不是被替换了。那么具体是如何做的呢&＃xff1f;

如下图所示&＃xff0c;首先会训练一个生成器来生成假样本&＃xff0c;然后Electra去判断每个token是不是被替换了。

大家看到这张图&＃xff0c;可能会想到&＃xff0c;这不是对抗生成网络咩&＃xff1f;其实不是的&＃xff0c;不是的奥秘就在损失函数上。

对抗生成网络传送门在此处开启

再来仔细的看一下算法流程&＃xff0c;首先&＃xff0c;输入经过随机选择设置为[MASK]&＃xff0c;然后输入给Generator&＃xff0c;Generator负责把[MASK]变成替换过的词。

但此时Generator并不像对抗神经网络那样需要等Discriminator中传回来的梯度&＃xff0c;而是像Bert一样那样去尝试预测正确的词语&＃xff0c;从而计算损失。这就是Electra不是GAN的根本原因。

因此&＃xff0c;极端情况下如果Generator的预测准确率是100%&＃xff0c;那么Discriminator就学习不到什么了&＃xff0c;因为所有的token都是正确词语。但所幸&＃xff0c;Generator一般是个小模型&＃xff0c;所以效果达不到这么高&＃xff0c;同时&＃xff0c;Generator刚开始就要和Discriminator联合训练&＃xff0c;所以刚开始也不会达到这么高。

Discriminator则是去预测每个位置上的词语是不是被替换过。Discriminator是训练完之后我们得到的预训练模型&＃xff0c;Generator在训练完之后就没有用了。

Electra另外一点和对抗生成网络不同的是&＃xff0c;如果Generator生成的是和原始输入一样的token&＃xff0c;那么这个token会被当做是没有替换&＃xff0c;而在对抗生成网络中所有来源于生成器的数据都是fake数据。

用公式来解释上述过程&＃xff0c;如下:

损失函数如下:

所以&＃xff0c;最后的损失函数如下:

注意到GAN的损失函数是min_G max_DV(D, G)&＃xff0c;跟这个损失函数大有不同。

终极目标就是能在计算量等同的情况下&＃xff0c;超过同等体量的模型效果。

其他尝试的设置

当然&＃xff0c;还有很多其他的设置:

• Generator是多余的模型部分&＃xff0c;在最后不会被用到&＃xff0c;但在训练时是要占用计算量的&＃xff0c;所以为了保证同等计算量&＃xff0c;就需要让Discriminator比其他的Bert变种要小。为了节省这一开支:
  
  • Generator要尽可能的小
  • embedding层可以和Discriminator共享
• 真正的像GAN一样去做训练
• Two-stage训练方法: 先训练Generator&＃xff0c;然后再去训练Discriminator。

实验结果如下&＃xff0c;可以看到&＃xff0c;Discriminator的宽度为768&＃xff0c;Generator宽度为256时效果最好。同时&＃xff0c;GAN和Two-stage训练都不如Electra。

不同模型尺寸的对比

实验还分别比较了小模型和大模型。可以看到&＃xff0c;无论是大模型还是小模型&＃xff0c;Electra都可以超过Bert。

消融实验

为了验证Electra的提升到底是哪里来的&＃xff0c;做了一些Bert和Electra中间设置的一些模型的实验&＃xff0c;包括&＃xff1a;

• Electra 15%: 跟Electra很像&＃xff0c;不过loss只来源于15%的位置&＃xff0c;这点是仿照Bert。
• Replace MLM: 跟Bert很像&＃xff0c;不过要替换的词语不再是[MASK]&＃xff0c;而是Generator生成的词语。
• All-Tokens MLM: 和上面的Replace MLM很像&＃xff0c;但更进一步&＃xff0c;预测所有的位置而不是仅预测被Mask的位置。

结果如下&＃xff0c;可以看到&＃xff0c;All-tokens MLM提升最大&＃xff0c;但还可以看到&＃xff0c;Electra相对于Bert&＃xff0c;不仅仅在训练速度上有提升&＃xff0c;在最终的结果上也有提升。

如下图所示&＃xff0c;Electra可以达到Bert打不到的高度。

勤思考&＃xff0c;多提问是Engineer的良好品德。

• 对抗生成网络在图像上应用很广&＃xff0c;在文本上却遇到了很多问题&＃xff0c;都遇到了什么问题&＃xff1f;为什么&＃xff1f;

关注公众号【雨石记】&＃xff0c;答案会在后续的文章中。

• [1]. Clark, Kevin, et al. “Electra: Pre-training text encoders as discriminators rather than generators.” arXiv preprint arXiv:2003.10555 (2020).